von Neumann-Morgenstern（VNM）实用程序定理表明，在某些合理性的公理下，决策将减少以最大程度地提高某些效用函数的期望。我们将这些公理扩展到日益结构化的顺序决策设置，并确定相应的实用程序函数的结构。特别是，我们表明，无内存的偏好会导致以每次过渡奖励和未来回报的乘法因素的形式产生实用性。该结果激发了马尔可夫决策过程（MDP）的概括，并在代理的申报表上使用此结构，我们称之为Affine-Reward-Reward MDP。需要对偏好的更强限制来恢复MDP中常用的标量奖励总和。尚未更强的约束简化了目标寻求代理的效用功能，以我们调用潜在功能的状态的某些函数的差异形式。我们的必要条件揭示了奖励假设，即通过在VNM理性公理中添加公理，并激发了涉及顺序决策的AI研究的新方向，从而使理性代理在增强学习中的设计构成了奖励假设。

Designing a local planner to control tractor-trailer vehicles in forward and backward maneuvering is a challenging control problem in the research community of autonomous driving systems. Considering a critical situation in the stability of tractor-trailer systems, a practical and novel approach is presented to design a non-linear MPC(NMPC) local planner for tractor-trailer autonomous vehicles in both forward and backward maneuvering. The tractor velocity and steering angle are considered to be control variables. The proposed NMPC local planner is designed to handle jackknife situations, avoiding multiple static obstacles, and path following in both forward and backward maneuvering. The challenges mentioned above are converted into a constrained problem that can be handled simultaneously by the proposed NMPC local planner. The direct multiple shooting approach is used to convert the optimal control problem(OCP) into a non-linear programming problem(NLP) that IPOPT solvers can solve in CasADi. The controller performance is evaluated through different backup and forward maneuvering scenarios in the Gazebo simulation environment in real-time. It achieves asymptotic stability in avoiding static obstacles and accurate tracking performance while respecting path constraints. Finally, the proposed NMPC local planner is integrated with an open-source autonomous driving software stack called AutowareAi.

Machine learning algorithms have revolutionized different fields, including natural language processing, computer vision, signal processing, and medical data processing. Despite the excellent capabilities of machine learning algorithms in various tasks and areas, the performance of these models mainly deteriorates when there is a shift in the test and training data distributions. This gap occurs due to the violation of the fundamental assumption that the training and test data are independent and identically distributed (i.i.d). In real-world scenarios where collecting data from all possible domains for training is costly and even impossible, the i.i.d assumption can hardly be satisfied. The problem is even more severe in the case of medical images and signals because it requires either expensive equipment or a meticulous experimentation setup to collect data, even for a single domain. Additionally, the decrease in performance may have severe consequences in the analysis of medical records. As a result of such problems, the ability to generalize and adapt under distribution shifts (domain generalization (DG) and domain adaptation (DA)) is essential for the analysis of medical data. This paper provides the first systematic review of DG and DA on functional brain signals to fill the gap of the absence of a comprehensive study in this era. We provide detailed explanations and categorizations of datasets, approaches, and architectures used in DG and DA on functional brain images. We further address the attention-worthy future tracks in this field.

我们通过实验验证一个实时机器学习框架，能够控制拉曼放大器的泵功率值以在二维（2D）中塑造信号功率演变：频率和光纤距离。在我们的设置中，优化了四个一阶反向传输泵的功率值，以实现所需的2D功率配置文件。泵功率优化框架包括一个卷积神经网络（CNN），然后是差分进化（DE）技术，在线应用于放大器设置，以自动实现目标2D功率配置文件。可实现的2D配置文件的结果表明，该框架能够确保获得的最大绝对误差（MAE）（<0.5 dB）与获得的目标2D配置文件之间。此外，该框架在多目标设计方案中进行了测试，该方案的目标是在跨度结束时达到固定增益水平的2D配置文件，共同在整个光纤长度上进行最小的光谱游览。在这种情况下，实验结果断言，对于目标扁平增益水平的2D轮廓，当设置在泵功率值中不受物理限制时，DE获得的最大增益偏差小于1 dB。模拟结果还证明，有足够的泵功率可用，可以实现更高的目标增益水平的更好的增益偏差（小于0.6 dB）。

本文为基于MPC的基于MPC模型的增强学习方法的计划模块提出了一个新的评分功能，以解决使用奖励功能得分轨迹的固有偏见。所提出的方法使用折现价值和折扣价值提高了现有基于MPC的MBRL方法的学习效率。该方法利用最佳轨迹来指导策略学习，并根据现实世界更新其状态行动价值函数，并增强板载数据。在选定的Mujoco健身环境中评估了所提出方法的学习效率，以及在学习的模拟机器人模型中学习运动技能。结果表明，所提出的方法在学习效率和平均奖励回报方面优于当前的最新算法。

使用增强现实（AR）用于导航目的，这表明在手术手术过程中协助医生有益。这些应用通常需要知道外科手术工具和患者的姿势，以提供外科医生在任务执行过程中可以使用的视觉信息。现有的医学级跟踪系统使用放置在手术室内的红外摄像头（OR）来识别感兴趣的对象附加并计算其姿势的复古反射标记。一些市售的AR头式显示器（HMD）使用类似的摄像头进行自定位，手动跟踪和估算对象的深度。这项工作提出了一个使用AR HMD的内置摄像机来准确跟踪复古反射标记的框架，例如在手术过程中使用的标记，而无需集成任何其他组件。该框架还能够同时跟踪多个工具。我们的结果表明，横向翻译的准确度为0.09 +-0.06毫米，可以实现标记的跟踪和检测，纵向翻译的0.42 +-0.32 mm，绕垂直轴旋转的0.80 +-0.39 ver。此外，为了展示所提出的框架的相关性，我们在手术程序的背景下评估了系统的性能。该用例旨在在骨科过程中复制K-Wire插入的场景。为了进行评估，为两名外科医生和一名生物医学研究人员提供了视觉导航，每次都进行了21次注射。该用例的结果提供了与基于AR的导航程序报告的相当精度。

预测，预测了大量的机器人和人为辅助任务。 NASA为了解这些天体的地质和构成的努力在很大程度上取决于机器人臂的使用。当人类与机器人探险家一起工作时，安全性和冗余方面至关重要。此外，机器人臂对于卫星维修和计划的轨道碎片缓解任务至关重要。这项工作的目的是创建一个基于自定义的计算机视觉（CV）的人工神经网络（ANN），该神经网络将能够快速识别从单个（RGB-D）的7度自由（DOF）机器人组的姿势图像 - 就像人类可以轻松识别手臂是否指向一定方向一样。 Sawyer机器人臂用于开发和培训这种智能算法。由于Sawyer的关节空间涵盖了7个维度，因此覆盖整个联合配置空间是一项无法克服的任务。在这项工作中，使用类似于Taguchi方法的正交阵列，以有效地跨越关节空间，以最少的训练图像数量。该生成的数据库用于训练自定义ANN，其准确度平均等于数据库生成使用的最小关节位移步骤的两倍。预先训练的ANN将有助于估计在太空站，航天器和流浪者作为辅助工具或应急计划上使用的机器人操纵器的姿势。

可以使用超分辨率方法改善医学图像的空间分辨率。实际增强的超级分辨率生成对抗网络（Real-Esrgan）是最近用于产生较高分辨率图像的最新有效方法之一，给定较低分辨率的输入图像。在本文中，我们应用这种方法来增强2D MR图像的空间分辨率。在我们提出的方法中，我们稍微修改了从脑肿瘤分割挑战（BRATS）2018数据集中训练2D磁共振图像（MRI）的结构。通过计算SSIM（结构相似性指数量度），NRMSE（归一化根平方误），MAE（平均绝对误差）和VIF（视觉信息保真度）值，通过计算SSIM（结构相似性指数量度）进行定性和定量验证。

在过去的几年中，深度学习技术，尤其是生成的对抗网络（GAN）已显着改善了图像插入和图像到图像的翻译任务。据我们所知，将图像镶嵌任务与多模式图像到图像到图像转换相结合的问题仍然完好无损。在本文中，我们提出了一个解决此问题的模型。该模型将在夜间的夜间图像翻译和介入以及有希望的定性和定量结果上进行评估。

在过去的几年中，基于学习的技术（例如生成对抗网络（GAN））具有显着改进的解决方案，以形象超分辨率和图像对图像翻译问题。在本文中，我们提出了解决图像超分辨率和多模式图像到图像翻译的联合问题的解决方案。该问题可以说为在替代方式中对同一图像的低分辨率观察，在模态中恢复了高分辨率图像。我们的论文提供了两个模型来解决此问题，并将在同一场景的低分辨率夜间图像中对高分辨率日图像的恢复进行评估。每个模型都会提出有希望的定性和定量结果。